Đường Cao Tổ tên hiêụ là Lý Uyên (李淵), biểu tự Thúc Đức (叔德). Tổ tiên của Lý Uyên là người Địch Đạo, Lũng Tây, ông là hậu duệ đời thứ bảy của Lý Cảo - Hoàng đế khai quốc của nước Tây Lương thời Thập Lục Quốc. Sau khi Tây Lương bị tiêu diệt, vương tôn của Lý Cảo là Lý Trùng Nhĩ (李重耳) xuất sĩ làm quan cho triều Bắc Ngụy, chức quan đến Hoằng Nông thái thú. Tuy nhiên, trong vài đời sau đó, các tổ tiên của Lý Uyên chỉ giữ các chức vụ thấp trong quân đội. Tổ phụ của Lý Uyên là Lý Hổ, Hổ phụng sự cho triều Tây Ngụy, chức quan đến tả bộc xạ, và được phong tước Lũng Tây quận công, là một trong Bát trụ quốc của Tây Ngụy, được ban họ Tiên Ti là Đại Dã (大野). Lý Hổ qua đời trước khi Bắc Chu Hiếu Mẫn Đế tức vị, mở đầu triều Bắc Chu, song ông được Hiếu Mẫn Đế truy phong tước Đường quốc công (唐国公), được ban thụy là Tương (襄).

Cha của Lý Uyên là Lý Bính (李昞), người kế tập tước Đường quốc công và kết hôn với một con gái của danh tướng Độc Cô Tín. Lý Uyên sinh năm 566 tại Trường An. Lý Bính qua đời vào năm 572, Lý Uyên kế tập tước Đường quốc công, và tiếp tục được giữ tước hiệu này sau khi Tùy Văn Đế Dương Kiên soán vị vào năm 581, mở đầu triều Tùy. Hoàng hậu Độc Cô Già La của Tùy Văn Đế là tụng mẫu (dì) của Lý Uyên.

Khi trưởng thành, Lý Uyên đã kết hôn với Đậu thị, còn Đậu thị là con gái của Thần Vũ công Đậu Nghị (竇毅) với Tương Dương công chúa của triều Bắc Chu. Đậu thị sinh cho Lý Uyên năm người con, theo thứ tự là Lý Kiến Thành, Bình Dương Chiêu công chúa, Lý Thế Dân, Lý Huyền Bá và Lý Nguyên Cát. Sau Đậu thị chết sớm, Lý Uyên khi lên làm hoàng đế truy phong cho bà là Thái Mục hoàng hậu.